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Проведен компьютерный статистический анализ результатов текущего контроля математических знаний. Оценен вклад элитной 
составляющей технического образования. Дан сравнительный анализ результатов входного контроля математических знаний с 
результатами текущего контроля в целом и в зависимости от разных форм обучения в вузе в частности. Сделан вывод о стати- 
стически значимых различиях этих результатов. Обсуждены причины выявленных существенных различий. Рассмотрена корре- 
ляционная зависимость результатов текущего контроля от результатов входного контроля математических знаний. 


Введение 

Главной проблемой современного инженерного 
образования является проблема его качества [1, 2]. 
Включение России в Болонский процесс актуализи- 
рует задачу обеспечения качества высшего образова- 
ния и выделяет одной из важных задач ближайшего 
времени разработку и использования методик оцен- 
ки качества образования, сопоставимых с общеевро- 
пейскими. В частности, необходимо создание эф- 
фективной системы контроля качества знаний [3, 4]. 
Таким образом, если в рамках зачетно (кредитно) - 
рейтинговой системы оценки и контроля качества 
освоения образовательных программ зачетная еди- 
ница оценивает объем образовательных программ, 
то рейтинг позволяет количественно оценить каче- 
ство освоения образовательных программ [5-7]. 

В Томском политехническом университете 
(ТПУ) наряду с входным контролем (ВК) матема- 
тических знаний школьной программы (на основе 
аудиторной контрольной работы с проверкой ее 
преподавателями) [8] применяется также в течение 
семестра рейтинговая система оценки математиче- 
ских знаний студента: проводится тематический 
контроль (проверка домашних индивидуальных за- 
даний и соответствующих аудиторных контроль- 
ных работ), модульный контроль теории (колло- 
квиумы и проверка рефератов по самостоятельно 
разобранным темам), суммарный промежуточный 
аттестационный (АТТ) и суммарный осенний семе- 
стровый (по 1000-бальной рейтинговой системе) 
экзаменационный (ЭКЗ) контроль математических 
знаний. В связи с этим представляет интерес срав- 
нение результатов входного контроля с соответ- 
ствующими результатами текущего контроля. 

Статистический метод 

Сравнение результатов входного и текущего кон- 
троля проведено посредством методов статистиче- 
ского анализа. Все числовые результаты приведены 
к единой 5-бальной шкале (делением результата на 
соответствующий максимальный результат и умно- 
жением на пять). Созданная таким образом в М§ 
Ехсеі база данных использовалась далее в пакете §1а- 
іМса 6.0 для статистического анализа данных [9]: 
вычисления числовых характеристик (объем выбор- 


ки УѴ, среднее т, стандартное отклонение сг, асим- 
метрия А и эксцесс Е, а также стандартные ошибки 
($1б. Егг.) А и Е), применения параметрического 
Г-критерия Стьюдента для сравнения средних двух 
независимых или зависимых выборок (для провер- 
ки нормальности распределения использованы 
оценки асимметрии А и эксцесса Е. критерии Пир- 
сона и Колмогорова- Смирнова), а также непараме- 
трических критериев: Манна-Уитни, Колмогорова- 
Смирнова для независимых выборок или критерий 
знаков и критерий Вилкоксона для зависимых вы- 
борок. В случае сравнения средних более чем двух 
выборок применялся однофакторный дисперсион- 
ный анализ. Для оценки корреляционной зависи- 
мости результатов текущего контроля от результатов 
входного контроля математических знаний вычи- 
сляется коэффициент корреляции Пирсона и ис- 
пользуется диаграмма рассеяния. 

Результаты и их анализ 

В ЭКЗ набора 2004 г. участвовали 1930 студентов 
первого курса ТПУ: институт геологии и нефтегазо- 
вого дела (ИГНД), электротехнический институт 
(ЭЛТИ); физико-технический (ФТФ), электрофи- 
зический (ЭФФ), машиностроительный (МСФ), 
химико-технологический (ХТФ), теплоэнергетиче- 
ский (ТЭФ), автоматики и вычислительной техни- 
ки (АВТФ), естественных наук и математики 
(ЕНМФ) факультеты. Выборку ЭКЗ можно разбить 
на выборку ЭКЗ э объема 113 («6 % от общего объе- 
ма) результатов контроля математических знаний 
студентов, отделенных в 2004 г. в группы элитного 
технического образования (ЭТО), развитие которо- 
го в последнее время приобретает актуальность 
[1,5, 10], и всех остальных ЭКЗ нэ объема 1817. 

Числовые характеристики выборок приведены 
в табл. 1. Средний балл ЭКЗ э (выборка ЭТО) соста- 
вил 3,735 по 5-бальной шкале, что почти на балл 
выше среднего балла 2,828 выборки ЭКЗ нэ - 


Таблица 1. Числовые характеристики выборок ЭКЗ, ЭКЗ нэ и ЭКЗ э 


Выборка 

N 

т 

СГ 

А 

$Ы. Егг. А 

Е 

$Ы. Егг. Е 

ЭКЗ 

1930 

2,882 

1,231 

-0,510 

0,056 

-0,622 

0,111 

ЭКЗ„ э 

1817 

2,828 

1,242 

-0,442 

0,057 

-0,707 

0,115 

ЭКЗэ 

113 

3,735 

0,529 

0,178 

0,227 

-0,504 

0,451 
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Выборка ЭКЗ э распределена по нормальному 
закону - Д и /по модулю не превышают утроенных 
соответствующих стандартных ошибок в отличие 
от выборок ЭКЗ и ЭКЗ нэ , имеющих значимые от- 
клонения от нормального закона как по асимме- 
трии А вправо, так и по туповершинности Е. Про- 
верка нормальности распределения выборок с по- 
мощью ^-критерия Пирсона и критерия Колмого- 
рова-Смирнова дает высоко значимые отличия 
(уровень значимости а<0,001). Применение непа- 
раметрических критериев сравнения средних двух 
независимых выборок приводит к выводу о не зна- 
чимом (а>0,10) различии в средних баллах 
2,882 для ЭКЗ и 2,828 для ЭКЗ нэ - Таким образом, 
вклад выборки ЭКЗ э в ЭКЗ является не значимым. 

Для оценки значимости результатов ЭКЗ э рас- 
смотрим совместное распределение выборок ЭКЗ, 
ЭКЗнэ и ЭКЗ э , отраженное на рис. 1, где для просто- 
ты восприятия использована неравномерная 5-баль- 
ная шкала: [0; 2,5] - «неуд»; (2,5; 3,5] - «удовл»; 
(3,5; 4,5] - «хор» и (4,5; 5] - «отл». Совместное ра- 
спределение выборок ЭКЗ нэ и ЭКЗ визуально под- 
тверждает их однородность. Как следует из рис. 1, 
только 8 студентов ЭТО получили в итоге семестро- 
вого обучения «отл», а больше половины - «удовл»; 
в тоже время число получивших «отл» в ЭКЗ нэ на по- 
рядок выше ( 101 студент). Это свидетельствует об ос- 
троте проблемы отбора студентов в ЭТО. 
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Рис. 1. Составная гистограмма результатов ЭКЗ, ЭКЗ Ю и ЭКЗ Ъ 




Рис. 2. Линейные графики среднего балла с 95 % довери- 
тельным интервалом результатов ЭКЗ, ЭКЗ Ю и ЭКЗ Ъ 
по факультетам 


Значения средних баллов результатов ЭКЗ, ЭКЗ нэ 
и ЭКЗэ по факультетам с указанием 95 % доверитель- 
ного интервала приведены на рис. 2. Совместное ра- 
спределение выборок ЭКЗнэ и ЭКЗ по факультетам ви- 
зуально еще раз подтверждает их однородность. 

Однородность независимых выборок (факульте- 
тов) была оценена посредством однофакторного 
дисперсионного анализа применительно к выборке 
ЭКЗ. Применение /-критерия, обобщающего /кри- 
терий на число выборок больше двух, привело к вы- 
воду о неоднородности сравниваемых факультетов. 
Значимость различий между средними баллами т по 
факультетам оценивалась с помощью апостериорно- 
го критерия наименьших значений разности, экви- 
валентного /критерию для числа независимых вы- 
борок больше двух. Результаты сравнения средних 
баллов т по факультетам отражены в табл. 2. 


Таблица 2. Уровни значимости а различий средних баллов ш 
в независимых выборках по факультетам 
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Тональность заливок ячеек табл. 2 соответствует 
степени значимости различий средних т в независи- 
мых выборках по факультетам в выборке ЭКЗ: не зна- 
чимые (сйОДОО), слабо значимые (0,100>а^0,050), 
значимые (0,050>а>0,010), сильно значимые 
(0,010>ой0,001), высоко значимые (0,001>а). Как 
следует из табл. 2, имеются всевозможные степени 
значимости различий между факультетами. 

Для проведения сравнительного анализа входно- 
го и текущего контроля качества математических 
знаний сформируем выборку студентов трех фа- 
культетов (ФТФ + ЭФФ + ХТФ), участвовавших как 
во входном контроле (вк), так и в текущем: аттеста- 
ционном октябрьском (атТ|), аттестационном нояб- 
рьском (атт 2 ) и осеннем семестровом экзаменацион- 
ном (экз) контроле математических знаний. Число- 
вые характеристики выборок приведены в табл. 3. 


Таблица 3. Числовые характеристики выборок входного и те- 
кущего контроля 


Выборка 

N 

т 

С 7 

А 

5Й. Егг. А 

Е 

5Й. Егг. Е 

ВК 

1175 

2,216 

1,406 

0,127 

0,071 

-0,972 

0,143 

ВК 

561 

2,157 

1,371 

0,191 

0,103 

-0,951 

0,206 

аттд 

561 

2,763 

1,227 

-0,278 

0,103 

-0,724 

0,206 

атт 2 

561 

2,755 

1,151 

-0,223 

0,103 

-0,695 

0,206 

экз 

561 

2,828 

1,171 

-0,517 

0,103 

-0,421 

0,206 

экз 

1930 

2,882 

1,231 

-0,510 

0,056 

-0,622 

0,111 
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Сначала было проведено сравнение результатов 
входного контроля ВК и вк, а также экзаменационно- 
го контроля ЭКЗ и экз. Результаты входного и экзаме- 
национного контроля отображены на рис. 3 и 4. Для 
визуальной оценки сходства наблюдаемых распреде- 
лений (гистограммы) с теоретическим распределени- 
ем по нормальному закону (соответствующие кри- 
вые) использована равномерная 5-бальная шкала. 



Рис. 3. Составная гистограмма результатов вк и ВК 



пятибальная шкала 

Рис. 4. Составная гистограмма результатов экз и ЭКЗ 

Уровень значимости различия средних результа- 
тов ВК и вк, а также ЭКЗ и экз определялся с помо- 
щью статистических критериев. Сравнение проведе- 
но по аналогии со сравнением выборок ЭКЗ нэ и ЭКЗ. 
Статистические критерии сравнения средних двух 
независимых выборок дали не значимые («>0,10) 
различия как в средних баллах результатов входного 
контроля 2,216 для ВК и 2,157 для вк, так и в средних 
баллах результатов экзаменационного контроля 2,882 
для ЭКЗ и 2,828 для экз. Таким образом, далее можно 
ограничиться рассмотрением выборок вк и экз. 

Значимость различий между средними т выбо- 
рок вк, Этт,, атт 2 и экз оценивалась с помощью дис- 
персионного анализа с повторными измерениями, 
обобщающего /-критерий для двух зависимых вы- 
борок на число выборок больше двух. Результаты 
сравнения средних выборок входного (вк) и теку- 
щего (атт,, атт 2 , экз) контроля отражены в табл. 4. 

Как следует из табл. 4, выборки текущего кон- 
троля атт, и атт 2 различаются не значимо, в то время 


как выборка вк входного контроля высоко значимо 
отличается от всех выборок текущего контроля. 


Таблица 4. Уровни значимости а различий средних т в зави- 
симых выборках входного и текущего контроля 



Совместное распределение выборок вк, атт ь 
атт 2 и экз отображенно на рис. 5, где для простоты 
восприятия использована неравномерная 5-баль- 
ная шкала. Визуально очевидна динамика улучше- 
ния качества уровня математических знаний: мо- 
нотонное убывание «неуд» и монотонный рост 
«удовл» и «хор». Хуже обстоят дела с «отл», что 
можно объяснить постоянным уменьшением в по- 
следнее десятилетие объема аудиторных часов изу- 
чения высшей математики, чрезмерное акцентиро- 
вание на самостоятельной работе и, как следствие, 
повышение интенсивности изучения математики 
настолько, что у преподавателя уже не хватает вре- 
мени для должной работы с лучшими студентами. 



2,5 3.5 4,5 

пятибальная шкала 

Рис. 5. Составная гистограмма резуль тагов вк, атт \ , атт 2 и экз 



пятибальная шкала 

Рис. 6. Гистограмма распределения разности экз-вк 


Рассмотрим подробнее наиболее контрастные 
выборки результатов входного вк и суммарного се- 
местрового экз контроля математических знаний. В 
связи с проверкой применения /-критерия Стью- 
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дента для зависимых выборок необходимо прове- 
рить выборку поэлементной разности экз-вк (рис. 6) 
на нормальность распределения. Проверка нор- 
мальности распределения выборки разности экз-вк 
с помощью коэффициентов асимметрии А и эксцес- 
са Е, ^-критерия Пирсона и критерия Колмогоро- 
ва-Смирнова дает не значимые отличия распределе- 
ния разности экз-вк от нормального закона. Можно 
отметить, что результаты разности экз-вк предста- 
вляют и самостоятельный интерес. Как следует из 
рис. 6, почти 3/4 студентов (71 %) повысили каче- 
ство математических знаний в результате обучения в 
первом семестре. Это отражает динамику улучше- 
ния качества математических знаний: рост среднего 
балла с 2,157 (для вк) до 2,828 (для экз). Но, с другой 
стороны, есть еще и 29 % студентов, которые пони- 
зили качество своих математических знаний. При 
этом, например, 2 % студентов имеют результаты экз 
ниже соответствующих результатов вк более чем на 
два балла по 5-бальной шкале. Вероятно, это слу- 
чайно поступившие в ТПУ. Не последней причиной 
понижения качества математических знаний в 
остальных 27 % является возросшая интенсивность 
обучения математики в ТПУ. 

Представляет интерес исследование результа- 
тов разности экз-вк в зависимости от формы обуче- 
ния (ФО): бюджетная (Б), контрактная (К) и целе- 
вой набор (Ц). Числовые характеристики выборок 
экз и вк для разных ФО приведены в табл. 5. 
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Рис. 7. Круговая гистограмма распределения разности 
экз-вк в зависимости от форм обучения 



Таблица 5. Числовые характеристики выборок экз и вк для 
разных ФО 



ВК 

ВК 

ЭКЗ 

ВК 

ЭКЗ 

ФО 

N 

т 

т 

сг 

а 

ц 

114 

1,754 

2,624 

1,196 

1,101 

к 

100 

1,658 

2,403 

1,144 

1,212 

Б 

347 

2,433 

3,017 

1,414 

1,141 

Б+Ц+К 

561 

2,157 

2,828 

1,371 

1,171 


Из сравнения средних баллов следует, что наи- 
более низкие средние баллы как в вк, так и в экз в 
контрактной форме обучения. 

Результаты разности экз-вк в зависимости от 
ФО представлены на круговой гистограмме 
(рис. 7). Как следует из рис. 7, худшая динамика 
улучшения качества математических знаний при- 
суща бюджетной форме обучения. 

Рассмотрим вопрос о статистической зависи- 
мости результатов вк и экз, в частности для разных 
ФО. Корреляция между результатами вк и экз мо- 
жет характеризоваться прежде всего коэффициен- 
том парной корреляции Пирсона г, отражающим 
степень линейной связи межу результатами вк и 
экз. В данном случае г«0,5 для разных ФО, т. е. да- 
лек от единицы, а, следовательно, положительная 
корреляционная зависимость результатов вк и экз 
далека от линейной. Более того, согласно диаграм- 
ме рассеяния (рис. 8), облако значений пары (вк, 
экз) достаточно сильно распылено около прямой 
регрессии, что характеризует корреляционную за- 
висимость результатов вк и экз как не высокую. 


вк 

Рис. 8. Диаграмма рассеяния корреляционной зависимости 
результатов вк и экз 

Возвращаясь к полной выборке ВК и соответ- 
ствующей ей выборке ЭКЗ вк тех 1175 из 1930 сда- 
вавших экзамен, которые участвовали во входном 
контроле, можно оценить динамику улучшения ка- 
чества математических знаний в зависимости от 
диапазонов выборки ВК (рис. 9). Так, например, 
15 % из 26 %, набравших на ВК не более одного 
балла по 5-бальной шкале, так и не сдали экзамен 
на положительный результат, а среди 1 1 % сдавших 
сдали на «удовл» 8 % и на «хор» 3 %. Причем, по- 
следние 3 % - это, вероятно, формально участво- 
вавшие, но фактически проигнорировавшие 
необязательный ВК хорошие студенты. В связи с 
этим предлагается придать ВК обязательный статус 
и включить его в рейтинговую систему оценки ка- 
чества математических знаний. Более того, прово- 
дить обязательный ВК в начале каждого семестра. 
Таким образом, налицо хотя и скромная, но поло- 
жительная динамика улучшения качества матема- 
тических знаний, чего не скажешь о тех 14%, кото- 
рые набрали на ВК более четырех баллов по 5-баль- 
ной шкале: их средний балл в ЭКЗ составляет 3,87. 
Для промежуточных диапазонов выборки ВК ха- 
рактерен разброс в обе стороны результатов в ЭКЗ. 
Так, например, 17 %, набравших на ВК от трех до 
четырех баллов по 5-бальной шкале, распредели- 
лись в ЭКЗ при среднем балле 3,45 следующим об- 
разом: «неуд» — 3 %, «удовл» - 5 %, «хор» - 7 %, 
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пяті ша льная шка ла 

Рис. 9. Составная гистограмма результатов ЭКЗ ък (ВК) 


«отл» — 2%. Это лишний раз подчеркивает слабую 
корреляцию результатов входного и итогового се- 
местрового контроля (рис. 8). 

Можно заметить, что корреляция результатов 
входного испытания [8] и итогового семестрового 
контроля еще слабее (г®0,' 42). 

Выводы 

1 . Вклад выборки ЭКЗ э (элитной составляющей) в 
ЭКЗ является статистически не значимым. Это 
свидетельствует об остроте проблемы отбора 
студентов в ЭТО. 

2. Различия средних т в независимых выборках 
по факультетам в выборке ЭКЗ являются все- 
возможными по степени значимости. 

3. Выборка вк результатов входного контроля вы- 
соко значимо отличается (ниже) от всех выборок 
результатов текущего контроля. Это отражает 
динамику улучшения качества математических 


знаний. Вместе с тем существует проблема повы- 
шения интенсивности изучения математики. 

4. В контрактной форме обучения наиболее низ- 
кие средние баллы как в вк, так и в экз. 

5. Для бюджетной формы обучения присуща са- 
мая низкая динамика улучшения качества мате- 
матических знаний. 

6. Корреляционную зависимость результатов вк и 
экз, равно как и ВК и ЭКЗ вк , можно характери- 
зовать как не высокую. 

7. Предлагается придать ВК обязательный статус, 
включить его в рейтинговую систему оценки 
качества математических знаний и проводить 
его в начале каждого семестра. 

8. В целях уменьшения влияния субъективного 
фактора на контроль знаний и усиления корре- 
ляции ВК и ЭКЗ необходимо создание незави- 
симой, адекватной и единообразной системы 
контроля знаний. 
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